[Innovation Talk] 誇大宣伝からインパクトへ : 生成的な AI アーキテクチャの構築 #AWSreInvent #ARC217-INT

はじめに

アノテーション 構築チームのいたくらです。
「From hype to impact : Building a generative AI architecture」に参加してきました。
本ブログではそのレポートをお届けします。

セッション情報

• セッション ID : ARC217-INT
• タイトル: From hype to impact : Building a generative AI architecture
• スピーカー: Moises Nascimento(Itaú), Jens Kohl(BMW), Francessca Vasquez, Ori Goshen(AI21 Labs)
• レベル: 200 - Intermediate

セッションの概要

Generative AI represents a paradigm shift for how companies operate today. Generative AI is empowering developers to reimagine customer experiences and applications while transforming virtually every industry. Organizations are rapidly innovating to create the right architecture for scaling generative AI securely, economically, and responsibly to deliver business value. In this talk, learn how leaders are modernizing their data foundation, selecting industry-leading foundation models, and deploying purpose-built accelerators to unlock the possibilities of generative AI.

訳: 生成 AI は、今日の企業活動のパラダイムシフトを象徴している。生成 AI は、事実上すべての業界を変革しながら、顧客体験とアプリケーションを再構築する開発者に力を与えている。企業は、生成 AI を安全かつ経済的に、そして責任を持って拡張し、ビジネス価値を提供するための適切なアーキテクチャを構築するために、急速にイノベーションを進めています。本講演では、リーダーがどのようにデータ基盤を近代化し、業界をリードする基盤モデルを選択し、専用のアクセラレータを導入して生成 AI の可能性を引き出しているかを学びます。

学べること

• 生成 AI が現時点に至るまでの簡単な経緯
• Amazon Bedrock の基本情報
• 各企業がどのような生成 AI を開発しているか

セッション内容

セッションは以下のアジェンダで進みました。

• 生成 AI を使用した構築は思っているよりも簡単
• 顧客は選択肢を求めている
• データは差別化要因
• セキュリティと責任ある AI を念頭に置いて構築
• クラウドがなければ生成 AI は存在しない

生成 AI を使用した構築は思っているよりも簡単

■ 生成 AI が現時点に至るまでの経緯について

• 深層学習モデルアーキテクチャを備えた ML テクノロジーの進歩により、生成 AI がついに形になりつつある
• 特に、ここ数年で生成 AI が可能になったのはこうした機械学習の進歩によるもの
• 従来の形式の機械学習により、数値などの非常に単純な入力を取得し、予測値などの非常に単純な出力にマッピングできるようになった
• 深層学習を使用すると、ビデオや画像などの複雑な入力を取得し、それらを比較的単純な出力にマッピング可能
• 従来の機械学習は依然として重要であり、さまざまなワークロードにわたって非常に役立つ
• ただし、従来の機械学習モデルは、単一特定タスク用のモデルを生成するために、コストのかかる手動データ準備、データのラベル付け、モデルのトレーニングに数か月を必要とするアーキテクチャを使用していた
• 生成 AI を使用すると大量のデータを活用して、より高度な方法で知識を取得して提示できるようになり、複雑な入力を複雑な出力にマッピング可能となった
• 生成 AI アプリケーションを強化する大規模なモデルは「基盤モデル」と呼ばれ、Transformer ベースのニューラルネットワークアーキテクチャによって駆動させる
  • Transformer: 自己注意機構と呼ばれる仕組み
  • 自己注意機構: データのどこに注意（着目）すべきかを、データの種類や内容に応じて変化させる仕組み
  • 引用: 画像認識 AI も Transformer ベースに、精度向上が見込める 2 つの理由 | 日経クロステック（xTECH）
• このアーキテクチャにより、大量のラベルなしデータでモデルを事前トレーニングできるようになり、すぐにさまざまな一般化されたタスクに使用可能
• これらの基盤モデルをどのように操作すればよいか？ ⇒ プロンプトを使用する
• 基盤モデルに何を生成させたいのか、実際に出力をどのような形式にしたいのかを記述すれば、検索拡張生成などの手法を使用してデータベースやドキュメントデータなどの追加コンテキストを提供可能

■ Amazon Bedrock について

• 機械学習の専門家でなくても生成 AI を使用した構築を進められる
• 高性能の基盤モデルの選択肢を提供するフルマネージドサービス
• 顧客は単一の API にアクセスするだけで、AI アプリケーションを簡単に構築および拡張でき、選択した基盤モデルを使用可能
• Bedrock を通じて、Amazon S3 内のラベル付きデータの例をいくつか指定するだけで、特定のタスク向けに独自のプライベートモデルを簡単にカスタマイズ可能
• RAG (Retrieval Augmented Generation) をサポートしており、そのデータを基盤モデルで活用してカスタマイズされた高品質の出力を生成可能
• マルチステップのタスクを実際に実行できるエージェントをサポート
• Bedrock に入力されたデータは暗号化される
• SDK をインポートし、モデルを選択し、プロンプトを送信するだけで起動・実行が可能

■ PartyRock について

• 生成 AI アプリケーションを構築できる新しい Web サイト
• 生成 AI について学び、構築を始めるのがいかに簡単かを実感することが可能となっている

■ Amazon CodeWhisperer について

• コードなどのコンテキスト情報に基づいて平易な言語からコードの推奨事項を生成
• IDE / 必要に応じてコマンドラインでもサポート

顧客は選択肢を求めている

• Bedrock は、基盤モデルの種類やサイズについて選択肢を提供している
• Bedrock の初期の成功は、オープンソース LLM を Amazon SageMaker Jumpstart で顧客が利用できるようにした数年間の経験に基づいている

Ori Goshen (AI21 Labs) 氏のお話

どのように最先端の言語モデルとアーキテクチャシステムを開拓してあらゆる業界を変革しているのかについてお話されていました。

• まず、インテリジェントな読み書きアシスタントアプリである WordTune を構築するために LLM をトレーニングした
• WordTune の注目により、顧客は自社の LLM を自社のアプリケーションにどのように埋め込むことができるのかを尋ね始めたため、AI21 は API を立ち上げた
• Amazon Bedrock で Jurassic-2 Ultra / Mid を提供している
• Ultra はより複雑なタスクに強力で、Mid は品質とコストが最適なバランスとなっている
• 顧客は、テキストの生成、質問応答、要約、分類に Jurassic を使用している
  • 例: 大手スポーツ小売店は、Jurassic を使用して、独自のトーン・長さ・目的でカスタマイズされた製品説明を生成している
• Jurassic Ultra または Mid モデルを使用するには、モデル ID とプロンプトを使用するようにコードを変更するだけ
• Jurassic は業界をリードするベンチマークで RAG をサポートするように設計されており、モデル精度のベンチマークでもリードしている
• 顧客は機械学習の知識は必要なく、微調整や迅速なエンジニアリングに取り組む必要もない
• 以下はコンテキスト応答モデルを使用した ONE ZERO Bank のチャットボットのアーキテクチャ

• アーキテクチャに示されるように、回答が一般的な知識ではなく、実際に顧客の銀行情報に基づいている

• AWS と AI21 を組み合わせることで、大規模で一貫した推論ワークロードと保証されたスループットを大規模に提供可能
• より高性能なモデルを作成するだけではなく、顧客のニーズに合わせた専用の AI システムを提供することが重要だと考えている

データは差別化要因

• 独自モデルをトレーニングしたり、ユースケースに合わせて基盤モデルをカスタマイズするために関連性の高い高品質のデータを確保するには、強力なデータ基盤が必要
• AWS はエンドツーエンドのデータジャーニーのサポートに役立つ幅広いツールセットを提供する
• 顧客は、強力な基盤モデルを独自のデータと組み合わせられるようにしたい
• 独自のデータを基盤モデルと組み合わせるアプローチとして、RAG を使用することが挙げられる
• 顧客が RAG 用にデータを保存する主な方法は、多くの人が聞いたことのある「ベクトル埋め込み」を使用すること
• ベクトル埋め込みは、単語の意味と関係を捉えるために単語を数値に変換すること
• ベクトル埋め込みは、機械学習にとって新しいものではないが、将来的にはその重要性が急速に高まっている
• そのため、OpenSearch や PostgreSQL などのいくつかのデータサービスで、ベクトル埋め込みサポートを提供している

セキュリティと責任ある AI を念頭に置いて構築

• エンドツーエンドの機械学習ライフサイクル全体にわたって責任ある AI を統合するために Guardrails for Amazon Bedrock のプレビューを発表した
• Guardrails を使用すれば、安全対策を実装して会社のポリシーや原則に沿った適切で安全なユーザー体験を提供可能
• Bedrock は HIPAA、GDPR への準拠を達成しており、基本的にコンテンツは基盤モデルを改善するために使用されることはない
• Bedrock 内のデータは、転送中も保存中も常に暗号化される
• Bedrock と AWS PrivateLink を使用すると、トラフィックをインターネットに公開することなく、基盤モデル と Amazon VPC 間のプライベート接続を確立可能

Moises Nascimento (Itaú) 氏のお話

データを安全かつ責任を持って使用してビジネスを変革する方法についてお話されていました。

• クラウドインフラストラクチャを活用して、データレイク全体をクラウドに移行し、組織全体のデータガバナンスを統合しながらデータメッシュプラットフォームを作成した
  • 補足: データメッシュとは何ですか? - データメッシュアーキテクチャの説明 - AWS
• Itaú には数十の金融および非金融サービスがあり、各事業単位に自律性を備えたデータと AI を使用したイノベーションを与えることが課題だった
• メッシュコントロール層を作成してプロデューサーとコンシューマーを結びつけ、俊敏性をもたらし、ほとんどの ETL 統合を排除しデータを一度取り込むことが可能となった

• 図の左側のプロデューサーアカウントでは、トランザクションアプリケーションのパフォーマンスに影響を与えることなく、必要に応じてほぼリアルタイムでのデータ統合を可能にするツールキットを開発

• 図の右側のコンシューマーアカウントでは、データセキュリティのワークフローを統合するプロセスを作成
• 上記のデータメッシュの構築と並行して、データサイエンティストのライフサイクル全体を結びつけるフレームワークとツールを提供する Yara ML Ops プラットフォームを開発した
• また、9 月にリリースした生成 AI の新機能を使用すると、顧客はビジネスイベントが投資ポートフォリオにどのような影響を与えるかを理解でき、生成 AI がそれに対処するさまざまな方法を提案できるようになった

クラウドがなければ生成 AI は存在しない

• 生成 AI を最大限に活用するには、ツールだけでなく、エンタープライズアプリケーションの大規模なスケール、パワー、セキュリティ、信頼性をサポートできる、実績のある強力なインフラストラクチャ基盤が必要
• AWS は高性能で低コストの機械学習インフラストラクチャオプションの幅広い選択肢を提供するために、10 年以上にわたりパートナーと協力して独自のチップの設計に投資してきた
• Inferentia 2 インスタンスは、他の同等の EC2 インスタンスよりも最大 40% 優れた推論価格パフォーマンスを実現する
• Tranium 1 インスタンスは、トレーニング コストを最大 50% 節約する
• Tranium 2 は、次世代の EC2 Ultra クラスターを強化し、最大 65 エクサフロップスを実現する

Jens Kohl (BMW) 氏のお話

開発者の生産性を向上させる世界クラスの 生成 AI 機能の構築にどのように貢献したかについてお話されていました。

• コストを管理・削減したりしながら、品質・持続可能性・信頼性を継続的に高めるにはどうすればいいかという課題に対して、このプロセスを推進するためのフライホイールを設置して実行することにした

• AWS Config とそのルールを使用して測定し、すべてのアカウントをこれらのルールに照らしてチェックすることからワークフローを開始した

• これらの結果に基づいて、アカウントを最適化する方法などを知るのに役立つ洞察を得て、実行可能な項目を特定しようとするが、実際には拡張性がない
• そこで、解決策を含めて各検出結果をユーザーに説明できるボットを構築した
• このボットは Python または Terraform でコードを実装してユーザーに解決策を提供し、ユーザーが望む場合はこれを実装することも可能
• このボットは実行するタスクが 4 つあり、タスクごとにモデルのパフォーマンスは異なる ⇒ システムのマルチエージェント構造をセットアップした
• Bedrock ではモデルの交換や更新が API を交換するだけなので、非常に簡単
• RAG を使用することで、AWS / BMW のベストプラクティス、その他のドキュメントを S3 に保存し、Kendra はその S3 バケット上で、問題に対する特定の解決策や救済策があるかどうかを確認可能
• ボットはバックエンドとしてクラウドガバナンスを組織レベルまで拡張するのに役立つ
• 他にもマネージドサービスを多く使用するため、ボットの保守が容易であり、拡張も簡単であることが利点として挙げられる
• 現在、クラウド監視ログなどをチェックしたり、コンポーネント自体を直接チェックしたりするためにボットを拡張することに取り組んでいる

まとめ

最後に「AWS には、基盤モデルからサービス・インフラストラクチャ・トレーニング・コードサンプルに至るまで、生成 AI への取り組みを加速するために必要なものがすべて揃っている」と仰っていたこともあり、セッションを通して「生成 AI の構築はそこまでハードル高くないよ」ということを伝えたいのかなと感じました。
先日レポートした AIM245-INT も 生成 AI 関連の Innovation Talk でしたが、本セッションは違う切り口での Innovation Talk で面白かったです。
本ブログでは省略していますが、Moises Nascimento 氏は「Yara ML Ops プラットフォームの開発」についても詳しく説明してくださっているので、興味が湧いたら是非こちらのご覧ください（本編 32:10 あたりから）。
⇒ AWS re:Invent 2023 - From hype to impact: Building a generative AI architecture (ARC217) - YouTube

アノテーション株式会社について

アノテーション株式会社は、クラスメソッド社のグループ企業として「オペレーション・エクセレンス」を担える企業を目指してチャレンジを続けています。
「らしく働く、らしく生きる」のスローガンを掲げ、様々な背景をもつ多様なメンバーが自由度の高い働き方を通してお客様へサービスを提供し続けてきました。
現在当社では一緒に会社を盛り上げていただけるメンバーを募集中です。少しでもご興味あれば、アノテーション株式会社 WEB サイトをご覧ください。